DH-PTAM: A Deep Hybrid Stereo Events-Frames Parallel Tracking And Mapping System

This paper presents a robust approach for a visual parallel tracking and mapping (PTAM) system that excels in challenging environments. Our proposed method combines the strengths of heterogeneous multi-modal visual sensors, including stereo event-based and frame-based sensors, in a unified reference frame through a novel spatio-temporal synchronization of stereo visual frames and stereo event streams. We employ deep learning-based feature extraction and description for estimation to enhance robustness further. We also introduce an end-to-end parallel tracking and mapping optimization layer complemented by a simple loop-closure algorithm for efficient SLAM behavior. Through comprehensive experiments on both small-scale and large-scale real-world sequences of VECtor and TUM-VIE benchmarks, our proposed method (DH-PTAM) demonstrates superior performance compared to state-of-the-art methods in terms of robustness and accuracy in adverse conditions. Our implementation's research-based Python API is publicly available on GitHub for further research and development: https://github.com/AbanobSoliman/DH-PTAM.Comment: Submitted for publication in IEEE RA-

Odométrie Visuelle par Association de Caméras Hétérogènes. Application à la Localisation et à la Cartographie Simultanée des Véhicules Autonomes

This Ph.D. thesis addresses the challenges of sensor fusion and Simultaneous Localization And Mapping (SLAM) for autonomous systems, specifically focusing on Autonomous Ground Vehicles (AGVs) and Micro Aerial Vehicles (MAVs) navigating large-scale and dynamic environments. The thesis presents a range of innovative solutions to enhance the performance and reliability of SLAM systems through five methodological chapters.The introductory chapter establishes the research motivation, highlighting the challenges and limitations of visual odometry using heterogeneous cameras. It also outlines the thesis structure and extensively reviews relevant literature. The second chapter introduces IBISCape, a simulated benchmark for validating high-fidelity SLAM systems based on the CARLA simulator. The third chapter presents a novel optimization-based method for calibrating an RGB-D-IMU visual-inertial setup, validated through extensive experiments on real-world and simulated sequences. The fourth chapter proposes a linear optimal state estimation approach for MAVs to achieve high-accuracy localization with minimal system delay.The fifth chapter introduces the DH-PTAM system for robust parallel tracking and mapping in dynamic environments using stereo images and event streams. The sixth chapter explores new frontiers in the field of dense SLAM using Event cameras, presenting a novel end-to-end approach for hybrid events and point clouds dense SLAM system. The seventh and final chapter summarizes the thesis's contributions and main findings, emphasizing the advancements made in multi-modal heterogeneous sensor fusion for autonomous systems navigating large-scale and dynamic environments. Future work includes investigating the potential of integrating inertial navigation sensors and exploring additional deep-learning components for improving loop-closure robustness and accuracy.Cette thèse de doctorat aborde les défis de la fusion de capteurs et de la localisation et de la cartographie simultanées (SLAM) pour les systèmes autonomes, en se concentrant spécifiquement sur les véhicules terrestres autonomes (AGV) et les micro-véhicules aériens (MAV) naviguant dans des environnements dynamiques et à grande échelle. La thèse présente une gamme de solutions innovantes pour améliorer la performance et la fiabilité des systèmes SLAM à travers cinq chapitres méthodologiques.Le chapitre d'introduction établit la motivation de la recherche, en soulignant les défis et les limitations de l'odométrie visuelle utilisant des caméras hétérogènes. Il décrit également la structure de la thèse et fournit une analyse approfondie de la littérature pertinente. Le deuxième chapitre présente IBISCape, une référence simulée pour valider les systèmes SLAM haute fidélité basés sur le simulateur CARLA. Le troisième chapitre présente une nouvelle méthode basée sur l'optimisation pour calibrer une configuration visuelle-inertielle RGB-D-IMU, validée par des expériences approfondies sur des séquences réelles et simulées. Le quatrième chapitre propose une approche d'estimation d'état optimale linéaire pour les MAV afin d'obtenir une localisation de haute précision avec un retard minimal du système.Le cinquième chapitre présente le système DH-PTAM pour un suivi et une cartographie parallèles robustes dans des environnements dynamiques utilisant des images stéréo et des flux d'événements. Le sixième chapitre explore de nouvelles frontières dans le domaine du SLAM dense à l'aide de caméras Event, présentant une nouvelle approche de bout en bout pour les événements hybrides et le système SLAM dense à nuages de points. Le septième et dernier chapitre résume les contributions et les principaux résultats de la thèse, en mettant l'accent sur les progrès réalisés dans la fusion de capteurs hétérogènes multimodaux pour les systèmes autonomes naviguant dans des environnements dynamiques et à grande échelle. Les travaux futurs comprennent l'étude du potentiel d'intégration de capteurs de navigation inertielle et l'exploration de composants supplémentaires d'apprentissage en profondeur pour améliorer la robustesse et la précision de la fermeture de boucle

Odométrie Visuelle par Association de Caméras Hétérogènes. Application à la Localisation et à la Cartographie Simultanée des Véhicules Autonomes

This Ph.D. thesis addresses the challenges of sensor fusion and Simultaneous Localization And Mapping (SLAM) for autonomous systems, specifically focusing on Autonomous Ground Vehicles (AGVs) and Micro Aerial Vehicles (MAVs) navigating large-scale and dynamic environments. The thesis presents a range of innovative solutions to enhance the performance and reliability of SLAM systems through five methodological chapters.The introductory chapter establishes the research motivation, highlighting the challenges and limitations of visual odometry using heterogeneous cameras. It also outlines the thesis structure and extensively reviews relevant literature. The second chapter introduces IBISCape, a simulated benchmark for validating high-fidelity SLAM systems based on the CARLA simulator. The third chapter presents a novel optimization-based method for calibrating an RGB-D-IMU visual-inertial setup, validated through extensive experiments on real-world and simulated sequences. The fourth chapter proposes a linear optimal state estimation approach for MAVs to achieve high-accuracy localization with minimal system delay.The fifth chapter introduces the DH-PTAM system for robust parallel tracking and mapping in dynamic environments using stereo images and event streams. The sixth chapter explores new frontiers in the field of dense SLAM using Event cameras, presenting a novel end-to-end approach for hybrid events and point clouds dense SLAM system. The seventh and final chapter summarizes the thesis's contributions and main findings, emphasizing the advancements made in multi-modal heterogeneous sensor fusion for autonomous systems navigating large-scale and dynamic environments. Future work includes investigating the potential of integrating inertial navigation sensors and exploring additional deep-learning components for improving loop-closure robustness and accuracy.Cette thèse de doctorat aborde les défis de la fusion de capteurs et de la localisation et de la cartographie simultanées (SLAM) pour les systèmes autonomes, en se concentrant spécifiquement sur les véhicules terrestres autonomes (AGV) et les micro-véhicules aériens (MAV) naviguant dans des environnements dynamiques et à grande échelle. La thèse présente une gamme de solutions innovantes pour améliorer la performance et la fiabilité des systèmes SLAM à travers cinq chapitres méthodologiques.Le chapitre d'introduction établit la motivation de la recherche, en soulignant les défis et les limitations de l'odométrie visuelle utilisant des caméras hétérogènes. Il décrit également la structure de la thèse et fournit une analyse approfondie de la littérature pertinente. Le deuxième chapitre présente IBISCape, une référence simulée pour valider les systèmes SLAM haute fidélité basés sur le simulateur CARLA. Le troisième chapitre présente une nouvelle méthode basée sur l'optimisation pour calibrer une configuration visuelle-inertielle RGB-D-IMU, validée par des expériences approfondies sur des séquences réelles et simulées. Le quatrième chapitre propose une approche d'estimation d'état optimale linéaire pour les MAV afin d'obtenir une localisation de haute précision avec un retard minimal du système.Le cinquième chapitre présente le système DH-PTAM pour un suivi et une cartographie parallèles robustes dans des environnements dynamiques utilisant des images stéréo et des flux d'événements. Le sixième chapitre explore de nouvelles frontières dans le domaine du SLAM dense à l'aide de caméras Event, présentant une nouvelle approche de bout en bout pour les événements hybrides et le système SLAM dense à nuages de points. Le septième et dernier chapitre résume les contributions et les principaux résultats de la thèse, en mettant l'accent sur les progrès réalisés dans la fusion de capteurs hétérogènes multimodaux pour les systèmes autonomes naviguant dans des environnements dynamiques et à grande échelle. Les travaux futurs comprennent l'étude du potentiel d'intégration de capteurs de navigation inertielle et l'exploration de composants supplémentaires d'apprentissage en profondeur pour améliorer la robustesse et la précision de la fermeture de boucle

Odométrie Visuelle par Association de Caméras Hétérogènes. Application à la Localisation et à la Cartographie Simultanée des Véhicules Autonomes

Cette thèse de doctorat aborde les défis de la fusion de capteurs et de la localisation et de la cartographie simultanées (SLAM) pour les systèmes autonomes, en se concentrant spécifiquement sur les véhicules terrestres autonomes (AGV) et les micro-véhicules aériens (MAV) naviguant dans des environnements dynamiques et à grande échelle. La thèse présente une gamme de solutions innovantes pour améliorer la performance et la fiabilité des systèmes SLAM à travers cinq chapitres méthodologiques.Le chapitre d'introduction établit la motivation de la recherche, en soulignant les défis et les limitations de l'odométrie visuelle utilisant des caméras hétérogènes. Il décrit également la structure de la thèse et fournit une analyse approfondie de la littérature pertinente. Le deuxième chapitre présente IBISCape, une référence simulée pour valider les systèmes SLAM haute fidélité basés sur le simulateur CARLA. Le troisième chapitre présente une nouvelle méthode basée sur l'optimisation pour calibrer une configuration visuelle-inertielle RGB-D-IMU, validée par des expériences approfondies sur des séquences réelles et simulées. Le quatrième chapitre propose une approche d'estimation d'état optimale linéaire pour les MAV afin d'obtenir une localisation de haute précision avec un retard minimal du système.Le cinquième chapitre présente le système DH-PTAM pour un suivi et une cartographie parallèles robustes dans des environnements dynamiques utilisant des images stéréo et des flux d'événements. Le sixième chapitre explore de nouvelles frontières dans le domaine du SLAM dense à l'aide de caméras Event, présentant une nouvelle approche de bout en bout pour les événements hybrides et le système SLAM dense à nuages de points. Le septième et dernier chapitre résume les contributions et les principaux résultats de la thèse, en mettant l'accent sur les progrès réalisés dans la fusion de capteurs hétérogènes multimodaux pour les systèmes autonomes naviguant dans des environnements dynamiques et à grande échelle. Les travaux futurs comprennent l'étude du potentiel d'intégration de capteurs de navigation inertielle et l'exploration de composants supplémentaires d'apprentissage en profondeur pour améliorer la robustesse et la précision de la fermeture de boucle.This Ph.D. thesis addresses the challenges of sensor fusion and Simultaneous Localization And Mapping (SLAM) for autonomous systems, specifically focusing on Autonomous Ground Vehicles (AGVs) and Micro Aerial Vehicles (MAVs) navigating large-scale and dynamic environments. The thesis presents a range of innovative solutions to enhance the performance and reliability of SLAM systems through five methodological chapters.The introductory chapter establishes the research motivation, highlighting the challenges and limitations of visual odometry using heterogeneous cameras. It also outlines the thesis structure and extensively reviews relevant literature. The second chapter introduces IBISCape, a simulated benchmark for validating high-fidelity SLAM systems based on the CARLA simulator. The third chapter presents a novel optimization-based method for calibrating an RGB-D-IMU visual-inertial setup, validated through extensive experiments on real-world and simulated sequences. The fourth chapter proposes a linear optimal state estimation approach for MAVs to achieve high-accuracy localization with minimal system delay.The fifth chapter introduces the DH-PTAM system for robust parallel tracking and mapping in dynamic environments using stereo images and event streams. The sixth chapter explores new frontiers in the field of dense SLAM using Event cameras, presenting a novel end-to-end approach for hybrid events and point clouds dense SLAM system. The seventh and final chapter summarizes the thesis's contributions and main findings, emphasizing the advancements made in multi-modal heterogeneous sensor fusion for autonomous systems navigating large-scale and dynamic environments. Future work includes investigating the potential of integrating inertial navigation sensors and exploring additional deep-learning components for improving loop-closure robustness and accuracy

MAV Localization in Large-Scale Environments: A Decoupled Optimization/Filtering Approach

Developing new sensor fusion algorithms has become indispensable to tackle the daunting problem of GPS-aided micro aerial vehicle (MAV) localization in large-scale landscapes. Sensor fusion should guarantee high-accuracy estimation with the least amount of system delay. Towards this goal, we propose a linear optimal state estimation approach for the MAV to avoid complicated and high-latency calculations and an immediate metric-scale recovery paradigm that uses low-rate noisy GPS measurements when available. Our proposed strategy shows how the vision sensor can quickly bootstrap a pose that has been arbitrarily scaled and recovered from various drifts that affect vision-based algorithms. We can consider the camera as a “black-box” pose estimator thanks to our proposed optimization/filtering-based methodology. This maintains the sensor fusion algorithm’s computational complexity and makes it suitable for MAV’s long-term operations in expansive areas. Due to the limited global tracking and localization data from the GPS sensors, our proposal on MAV’s localization solution considers the sensor measurement uncertainty constraints under such circumstances. Extensive quantitative and qualitative analyses utilizing real-world and large-scale MAV sequences demonstrate the higher performance of our technique in comparison to most recent state-of-the-art algorithms in terms of trajectory estimation accuracy and system latency

IBISCape: A Simulated Benchmark for multi-modal SLAM Systems Evaluation in Large-scale Dynamic Environments

International audienceThe development process of high fidelity SLAM systems depends on their validation upon reliable datasets. Towards this goal, we propose IBISCape, a simulated benchmark that includes data synchronization and acquisition APIs for telemetry from heterogeneous sensors: stereo-RGB/DVS, LiDAR, IMU, and GPS, along with the ground truth scene segmentation, depth maps and vehicle ego-motion. Our benchmark is built upon the CARLA simulator, whose back-end is the Unreal Engine rendering a high dynamic scenery simulating the real world. Moreover, we offer 43 datasets for Autonomous Ground Vehicles (AGVs) reliability assessment, including scenarios for scene understanding evaluation like accidents, along with a wide range of frame quality based on a dynamic weather simulation class integrated with our APIs. We also introduce the first calibration targets to CARLA maps to solve the unknown distortion parameters problem of CARLA simulated DVS and RGB cameras. Furthermore, we propose a novel pre-processing layer that eases the integration of DVS sensor events in any frame-based Visual-SLAM system. Finally, extensive qualitative and quantitative evaluations of the latest state-of-the-art Visual/Visual-Inertial/LiDAR SLAM systems are performed on various IBISCape sequences collected in simulated large-scale dynamic environments

HCALIB : Méthode hybride d'étalonnage et d'estimation de pose RVB-D-IMU

International audienceHCALIB : Méthode hybride d'étalonnage et d'estimation de pose RVB-D-IM

Flow-Based Visual-Inertial Odometry for Neuromorphic Vision Sensors Using non-Linear Optimization with Online Calibration

International audienceNeuromorphic vision sensors (also known as event-based cameras) operate according to detected variations in the scene brightness intensity. Unlike conventional CCD/CMOS cameras, they provide information about the scene with a very high temporal resolution (in the order of microsecond) and high dynamic range (exceeding 120 dB). These mentioned capabilities of neuromorphic vision sensors induced their integration in various robotics applications such as visual odometry and SLAM. The way neuromorphic vision sensors trigger events is strongly coherent with the brightness constancy condition that describes optical flow. In this paper, we exploit optical flow information with the IMU readings to estimate a 6-DoF pose. Based on the proposed optical flow tracking method, we introduce an optimization scheme set up with a twist graph instead of a pose graph. Upon validation on high-quality simulated and real-world sequences, we show that our algorithm does not require any triangulation or key-frame selection and can be fine-tuned to meet real-time requirements according to the events’ frequency

MAV Localization in Large-Scale Environments: A Decoupled Optimization/Filtering Approach

International audienceDeveloping new sensor fusion algorithms has become indispensable to tackle the daunting problem of GPS-aided micro aerial vehicle (MAV) localization in large-scale landscapes. Sensor fusion should guarantee high-accuracy estimation with the least amount of system delay. Towards this goal, we propose a linear optimal state estimation approach for the MAV to avoid complicated and high-latency calculations and an immediate metric-scale recovery paradigm that uses low-rate noisy GPS measurements when available. Our proposed strategy shows how the vision sensor can quickly bootstrap a pose that has been arbitrarily scaled and recovered from various drifts that affect vision-based algorithms. We can consider the camera as a “black-box” pose estimator thanks to our proposed optimization/filtering-based methodology. This maintains the sensor fusion algorithm’s computational complexity and makes it suitable for MAV’s long-term operations in expansive areas. Due to the limited global tracking and localization data from the GPS sensors, our proposal on MAV’s localization solution considers the sensor measurement uncertainty constraints under such circumstances. Extensive quantitative and qualitative analyses utilizing real-world and large-scale MAV sequences demonstrate the higher performance of our technique in comparison to most recent state-of-the-art algorithms in terms of trajectory estimation accuracy and system latency